机构名称：
¥ 1.0
背景：用于临床试验的知情同意书（ICF）变得越来越复杂，由于合法的术语和冗长的内容而引起的参与者的理解和参与通常会阻碍参与者。大型语言模型（LLMS）的最新进展为简化ICF创建过程的机会，同时改善可读性，可理解性和可行性。目标：本研究旨在评估Mistral 8x22b LLM在生成具有提高可读性，可理解性和可行性的ICF时的性能。具体来说，我们评估了模型在生成可读，可理解和可行的ICF时的有效性，同时保持准确性和完整性。方法：我们使用Mistral 8x22b模型从IMass Chan医学院的机构审查委员会中处理了4项临床试验方案，以生成ICF的关键信息部分。由8位评估者组成的一个多学科团队，包括临床研究人员和健康信息家，评估了针对人类生成的对应物的生成的ICF，以完成完整性，准确性，可读性，可理解性和可行性。关键信息指标的可读性，可理解性和可行性，其中包括18个二进制项目，用于评估这些方面，得分较高，表明信息的可访问性，可理解性和可行性更高。统计分析，包括Wilcoxon等级总和测试和类内相关系数计算，用于比较输出。与人类生成的版本相比，LLM生成的内容在可操作性上取得了完美的分数（100％vs 0％; P <.001）。结果：LLM生成的ICF表现出与关键部分之间人类生成版本相当的性能，准确性和完整性没有显着差异（p> .10）。LLM在可读性（可读性，可理解性和可行得分76.39％vs 66.67％vs 66.67％; FLESCH-KINCAID等级的7.95 vs 8.38）和可理解性（90.63％vs 67.19％; P = .02）中的超过了人类生成的ICF（可读性，可理解性和可行性； 7.95 vs 8.38）。 评估者一致性的类内相关系数为0.83（95％CI 0.64-1.03），表明整个评估的可靠性良好。 结论：Mistral 8x22b LLM在不牺牲准确性或完整性的情况下增强了ICF的可读性，可理解性和可行性方面表现出了有希望的能力。 llms为ICF生成提供了可扩展的，有效的解决方案，潜在地增强了参与者的理解和临床试验中的同意。超过了人类生成的ICF（可读性，可理解性和可行性； 7.95 vs 8.38）。评估者一致性的类内相关系数为0.83（95％CI 0.64-1.03），表明整个评估的可靠性良好。结论：Mistral 8x22b LLM在不牺牲准确性或完整性的情况下增强了ICF的可读性，可理解性和可行性方面表现出了有希望的能力。llms为ICF生成提供了可扩展的，有效的解决方案，潜在地增强了参与者的理解和临床试验中的同意。
使用大语言模型转换知情同意书的生成：混合方法研究
主要关键词
相关文件推荐
![使用生成AI语言模型（2024年11月12日）[1]](/simg/9/960fbacbc2e3afa5a9983fb3cc1d65b0c0a766a7.webp)
